#efficient decoding - AI Papers Daily

Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

需要时才看：基于证书引导的视觉路由实现高效扩散视觉语言模型

🧭 扩散视觉语言模型高效解码

KAIST · AITRICS

提出 LOWN 解码方法，每步自适应决定是否处理图像，平均省 65% 解码 FLOPs 而保留 99.6% 分数

📌 工作参考价值（4 点）

多模态 LLM 在商品图像理解、广告文案生成等场景中，视觉 token 占输入 90% 以上，且不是每一步都需要细看图像。可借鉴 LOWN 的路由思想：先用无图像轻量预测，只有与历史图像条件预测产生分歧时才重新处理图像，避免重复编码视觉特征。
工程实现上，LOWN 无需训练、无需调阈值，可以直接插入现有扩散解码流程，适合快速验证收益。结合 KV cache 和视觉 token pruning 可进一步降低在线推理成本。
在电商搜索推荐 Agent 中，多模态状态下视觉内容不是每个 reasoning step 都要消费。可设计类似的“证书”机制，复用之前的视觉理解结果，只在置信度下降时触发视觉重算，降低长程任务推理延迟。
该方法证明了自适应路由比固定 schedule 更有效，因为不同输入对视觉依赖差异很大。业务上可对商品主图、详情图、视频帧按需求动态分配算力，而不是一刀切缩图或抽帧。

LLM | 2026-10-26 | HF Daily | score 6/10

按需注意力：语言模型知道何时回忆

🧭 长上下文高效推理 · 按需注意力

Southern University of Science and Technology · Peking University · Peng Cheng Laboratory

训练轻量 recall head 基于解码状态动态触发全局注意力，在保持性能的同时大幅减少长上下文全局读取

📌 工作参考价值（4 点）

在电商多轮 Agent / 长会话推荐场景，可采用 local-first + 轻量 recall head 的思路：先用局部注意力生成，仅在预测到当前步需要全局信息时触发全局注意力，降低长上下文推理成本。
借鉴「只训练 recall head、冻结基座权重」的做法：在不改动线上 LLM 主干的前提下，通过一个极小的辅助头提升注意力分配效率，易于迭代和上线。
工程实现上参考其 vLLM 的 GPU 端条件执行：把是否执行全局注意力的分支放在 GPU kernel 内，避免 CPU-GPU 同步，才能真正把减少的全局读取转化为实际解码加速。
若业务使用 hybrid-attention 或长历史序列建模（如用户长期行为、商品描述），该方法可迁移为对重要 step 的按需全局召回，降低推理耗时同时保持大部分效果。

LLM | 2026-09-17 | cs.CL | score 7/10